精準預測：如何從巨量雜訊中，看出重要的訊息？(The Signal and the Noise: Why So Many Predictions Fail — but Some Don't)

內容描述

<內容簡介>他開發的棒球預測系統精準無比， 被知名棒球評論媒體收購。 他個人更曾運用統計預測的專才， 在德州撲克賭局賺進上千萬元。 他是奈特．席佛， 當代最受矚目的統計與預測鬼才， 首次公開精準預測的黃金法則， 告訴你為什麼有些預測會成功、有些會失敗？ ★出版三個月穩居亞馬遜書店銷售總榜前20 名、商業理財類第1名、政治社會科學類第1名 ★《紐約時報》暢銷書排行榜前10名 ★榮登亞馬遜書店2012年度「非文學類」第1名 ★獲選為亞馬遜書店編輯嚴選2012年度商「商業類」最佳書籍 ★獲選《華爾街日報》2012「十大最佳非文學類好書」 ★《紐約時報》書評盛讚：「10年來最重要的一本書」 ★2009年《時代雜誌》將奈特˙席佛列入「世界最有影響力的百大名人」 ★2012年《滾石雜誌》將奈特˙席佛譽為「改變遊戲規則的人」 數據不會說話，是你在為它說話。 ˙美國政府長期蒐集許多情報，但為何還是無法預見911恐怖攻擊？ ˙2007年房市泡沫爆發前，華爾街的金融專家們為何看不見崩盤的警訊？ 身處「巨量資料」（big data）時代，照理說我們擁有空前充足的資料，去做各項預測。但各行各業掌握最多資料的專家與決策者，卻都還是不斷做出失敗的判斷，這是怎麼回事？作者奈特．席佛指出，人的解讀比數字更關鍵，而預測最難的部分在於：人要懂得分辨出哪些是無意義的雜訊，哪些才是關鍵的訊號。誤把雜訊當訊號，做出來的預測，自然不會準確，甚至會造成嚴重的謬誤與損失！ 數據導向的預測會成功也會失誤，要求更多數據之際，人更應該自我要求。 最常出錯的就是過度自信、被稱為「刺蝟」型的預測者，他們很會歸納、喜歡大原則、很有膽識，雖不斷收到新訊息卻很少修改預測，他們做預測常成為一種「表演」，模糊了追求精準預測的動機。(代表人物：成為名嘴的專家、認定自己能翻盤的賭徒。) 另外一個大家常犯的錯，是忽略「樣本外」的重大新資訊。假設你從未酒後駕車，肇事紀錄也很低。今晚你喝了酒，請預測今天駕車肇事的機率？如果你拿過去的記錄分析預測，那麼你出事的機率肯定相當低；但是喝酒開車並不在你過去記錄的樣本內。這個預測問題出在模型錯了、忽略樣本外的重大訊息──而這也就是席佛認為，大家對房市泡沫以及雷曼兄弟垮台，無法精準預測的主因。 在本書中，席佛針對政治選情、球賽結果與球員價值的評估、金融風暴、氣象、地震、撲克賭局、西洋棋賽、股市投資等跨領域的預測難題，做了精闢的個案分析。雖然領域迥異，但預測要精準，背後的原則與邏輯卻都是一樣的。在一個個精彩的故事中，即使沒有統計背景的讀者，也能一點一滴拼湊、建立預測的基本功，並且可以練習把這些原則與技巧，運用在自己的專業領域上。(甚至可以用來預測伴侶外遇的機率：詳見第8章) ◎席佛在書中不斷提醒預測者: ˙預設立場或過度自信，對預測來說，是非常可怕的事。 ˙預測不是在追求是與非，而是估算事情發展的「機率」。有精準的機率，才能做出有利的決策。 ˙做預測時，最怕一看見「有相關」就解釋成「因果關係」。（冰淇淋 vs. 森林大火） ˙預測時不能忽略「誤差」，並要勇於承認有「不確定性」。 不然你會過度解釋，變成不精準的預測。 ˙根據預測出來的機率，做了最有利的選擇，即使最後結果不好，仍然是好預測。 ˙在很多情境中，不是一定要追求終極完美的預測，只要預測比競爭對手好，你就贏了。 ˙當大家不免被雜訊迷惑時，問問自己，你有什麼法寶，能讓自己更接近真相？跟著法寶走，不要跟著群眾走。 ˙有新的重大資訊進來時，能保持客觀，隨時更新的預測，才有可能是精準的預測。 ◎書中也有許多發人深省的預測思考訓練： 【情境1】在股市裡，為什麼贏的人反而輸了？ 現在舉辦一場拍賣會，拍賣一個裝有零錢的罐子，大家去猜測裡面有多少錢，並決定你願意用多少錢去標這一罐錢。出價最高的，可以把罐子帶走。 這是經濟學裡一個常見的實驗，實驗的結果，往往都是這位贏家所出的錢，大過罐子裡的錢。沒贏就算了，贏了反而賠錢，這就是所謂的「贏家的詛咒」。這件事的問題出在，贏的那個人，做出了很糟糕的預測。很多時候，是預測者過度自信了。 這個實驗，跟股市的特性是一樣的。往往當許多投資人都「感覺現在是投資的好時機」時，同時期股價都會飆高。雖然這明明跟股票應該買低賣高的邏輯背道而馳，但是人總是會在這些時候特別樂觀，大膽搶進。所以這些投資人，如果在股市裡失利了，都是因為他們誤將樂觀氣氛這個雜訊，當成可以搶進的訊息，做出了錯誤的預測的關係。 【情境2】為何九一一攻擊時，第二棟大樓被撞不用太驚訝？ 根據貝氏定理，做預測時，事前某件事的發生機率有多高，會很大程度影響後來的發生機率。 九一一恐怖攻擊那天早上，大多數美國人都會認為恐怖分子用飛機撞進曼哈頓高樓的機率趨近於零。那是第一架飛機還沒撞進大樓前的數據。等到第一架飛機事故發生之後，第二棟樓被攻擊的可能性就無庸置疑了。 根據貝氏定理的公式計算，第一架飛機事故前，美國高樓被恐怖攻擊的可能性根據歷史紀錄可是兩萬分之一，或者說0.005%。第一架飛機事故發生後，美國被恐怖攻擊的機率當下被改寫，提高到了38%。這時，當我們再預估第二架飛機撞上高樓發生的機率時，運用貝氏定理的公式計算之後，整體機率陡增到99.99%。（貝氏定理用一行簡單的公式就能算出這個機率，詳見第8章） 然而，一般人「憑感覺」的預測卻是：在艷陽高照的紐約，發生一次意願已經夠不可能了，第二次幾乎是真的完全不可能！但使用貝氏定理，卻能輕鬆預測第二起事故的發生。這就是為什麼我們在做預測時，不能憑「感覺」，而要信賴客觀工具的原因。 【情境3】氣象預報不準確，能不能怪罪預報員？ 依照基本原則來看，所有的預測，顯示的結果應該都是機率，而且一定會有不確定性。氣象的預測，也不例外。 美國國家氣象局經過長年來的努力，所取得的氣象資料以及他們的預測，準確率已經大有進展。然而，為何大家仍覺得氣象預報不準？ 這是因為商業氣象頻道，為了顧客服務的經濟動機，有時會在資料的呈現上做些操弄。比如，當他們說降雨機率20%時，有時其實只有5%。因為民眾對於這種幫助提高警覺的「假警報」不介意。相對的，若他們預期不會下雨時卻下雨了，大家就會咒罵氣象頻道毀了他們的野餐。而且，氣象預報時，更無法呈現出「不確定性」，誠實展現出預測中的不確定或者誤差，也會有損預報的權威感。 在這樣的情況下，並不是預測技術無法精準，而是氣象頻道實在沒有砥礪自己追求預報精準的動機。然而，這是個惡性循環。結果就是當真的發生卡崔娜這樣的颶風時，很多已經把氣象預報當成「狼來了」的民眾，就可能會喪失性命。 作者認為，一個預測的人，職責就是應該要盡力做出精準的預測與預報。這一點，氣象的預報人員，沒有做到。雖然本來也許有時是出於好意。 推薦： 【國內各界專家讚譽推薦】 尹相志（亞洲資採、亞洲決策資訊技術長） 吳 迪（統計學補教名師） 林之晨（appWorks 之初創投合夥人） 許毓仁（TEDXTaipei策展人、TED亞洲大使） 蔡恩全（台灣微軟總經理） 戴季全（Richi里斯特、TechOrange流線傳媒創辦人） *以上依姓名筆劃順序排列 【國際主流媒體齊聲讚譽】 「奈特．席佛是美國選情借的某種禪學大師，……這本書就如耳熟能詳的《黑天鵝》的那個脈絡，認為人對自身的預測能力太過自信，很難建立一個容許不確定性的預測模型。」—《經濟學人》 「席佛探索了我們對於預測股市、暴風雨、運動賽事，以及其它難以確定的事的可能性。」—《連線雜誌》 「這是在巨量資料侵襲所有行業、所有運動賽事，以及所有決策者的時代，大家必讀的一本書。」—《富比士雜誌》 「十年來最具影響力的書。」 —《紐約時報》書評 「席佛娓娓道來的文風，讓艱難地統計資料，變得可親。而且這些論點與案例，都是經過深度研究得來的。」—《華爾街日報》 「奈特．席佛可謂統計界的搖滾巨星。這本書結合實用手冊與哲學思辨的宣言於一體。」—《波士頓環球新聞》 「席提供了一個難得容易閱讀的作品，可說是做預測的基礎入門。」—《華盛頓郵報》 「這本書是許多東西的綜合體，既是貝氏定理對機率理論的介紹，也是人們對運氣與人格的冥思，又揭發撲克遊戲的內幕，……而它最重要的新意在於，它很人性。」—《君子雜誌》 「這本書把會把人嚇退的主題，寫得很有娛樂性，讓大眾能夠親近。」—《頁岩雜誌》

<章節目錄>
前言 1.慘烈的預測失誤 2.你比電視名嘴還聰明嗎？ 3.我在乎的只有輸贏 4.多年來你一直告訴我們雨是綠的 5.拚命找訊號 6.要怎麼淹死在一公尺深的水裡 7.模型的角色 8.錯誤越來、越來越少 9.對機器大發脾氣 10.撲克泡沫 11.要是你贏不了他們 12.有著健康懷疑態度的氣氛 13.你不知道的東西可能會傷害你 結論